Источники сбоев
Дмитрий Масленников, «Т-Банк»
Общие рассуждения
Есть причины и триггеры
Причина сбоя — любой фактор, на который мы можем повлиять и, если его устранить или снизить его влияние, то сбой станет невозможен, либо последствия станут менее значительными (причина более тяжелых последствий).
Триггер сбоя — непосредственно то событие, которое начало сбой. Триггеры могут быть обыкновенными событиями в жизненном цикле IT-системы, то есть мы бы не хотели их устранять.
Метод «пять почему»
- Пользователи не могли воспользоваться приложением
- Потому что оно получило некорректные настройки и сервера
- Потому что сотрудник, который редактировал настройки в JSON, добавил некорректный продукт
- Потому что не валидации при редактировании настроек
- Потому что технолог не поставил такую задачу
- Потому что «горели сроки»
Критика метода «пять почему»
- Заставляет идти на неверную глубину анализа, а именно делать пять шагов анализа
- Тот кто анализирует идет по более привычному пути игнорируя менее знакомые области
- Результат анализа зависит от того, кто анализирует, разные люди получат разные результаты
- Провоцирует находить только одну «корневую» причину сбоя
- Не дает никаких подсказок, как искать причины сбоев, кроме как пытаться ответить на вопрос «Почему?»
Диаграмма Исикавы (рыбьи кости)
Критика диаграмм Исикавы
- Заставляет идти на неверную глубину анализа, а именно делать пять шагов анализа
- Тот кто анализирует идет по более привычному пути игнорируя менее знакомые области
- Результат анализа зависит от того, кто анализирует, разные люди получат разные результаты
- Провоцирует находить только одну «корневую» причину сбоя
- Не дает никаких подсказок, как искать причины сбоев, кроме как пытаться ответить на вопрос «Почему?»
Не являются причинами сбоя
- Отказы оборудования
- Релизы
- Действия пользователей
- Сетевые проблемы
- Внешние атаки
Все важные причины сбоев — «человеческий фактор»
Необвинительная культура!
Причин всегда много, а триггер — один!
Бороться можно и с причинами и с триггерами
Избегайте все называть «ошибкой»
Не обязательно бороться со всем
- Стихийные бедствия — наводнения, землетрясения и т.п.
- Разрушение инфраструктуры — пожары, отключения электроэнергии, обрушения конструкций и т.п.
- Отказ IT оборудования — только при сознательном решении
Универсальной (правильной) классификации — нет
- Чужая классификация скорее всего не подойдет и надо делать свою
Триггеры сбоев
- деплой / релиз
- отказ оборудования
- неожиданное поведение пользователей
- действия злоумышленников
- переполнение
- повышение нагрузки от пользователей
- нарушение контракта (некорректное использование)
- срабатывание бага
- отказ или несовместимое изменение в интеграциях
- действия сотрудников
- автоматизированное действие
- форсмажор (землетресения, пожары)
Причины сбоев
Причины сбоев
- Ошибка или недоработка в программном коде
- Ошибка или недоработка в архитектуре приложения
- Ошибка или недоработка в архитектуре системы
- Код разработан внутри компании
- Код взят из открытого проекта
- Код куплен у сторонней компании
- Технический долг (проблема уже была известна и решение тоже было известно)
- Проблема была известна, но не знаем, как это решить
- О проблеме узнали впервые
Причины сбоев
- Недоработка в процессах работы
- Процесс ошибочен
- Процесс подталкивает сотрудника к ошибке или некорректному поведению
- Технический долг (проблема уже была известна и решение тоже было известно)
- Проблема была известна, но не знаем, как это решить
- О проблеме узнали впервые
Причины сбоев
- Ошибка сотрудника при проведении плановых и других работ по обслуживанию систем
- Ошибка при использовании сервиса сотрудниками компании
- Интерфейс провоцирует ошибку
- Отсутствует защита от некорректных действий
Причины сбоев
- Проблема в коммуникации
- Некорректно поставлена или понята задача
- Некорректная документация (отсутствует, устарела, с ошибками)
- Не получено важное уведомление
- Недостаточное обучение или отсутствие контроля обучения
Причины сбоев
- Игнорирование риска при желании достигнуть цели любой ценой
- Игнорирование риска при давлении от руководства
Причины сбоев
- Прямая человеческая проблема — выгорание, депрессия, конфликты и т.п.
Причины сбоев
- Не предотвратили умышленное причинение вреда
- Сотрудниками
- Третьими лицами
- Недокументированное отклонение в работе внешнего сервиса